home *** CD-ROM | disk | FTP | other *** search
/ HPAVC / HPAVC CD-ROM.iso / SNNSV32.ZIP / SNNSv3.2 / examples / encoder.README < prev    next >
Text File  |  1994-04-25  |  3KB  |  83 lines
  1. =============================================================================
  2.     README file for the example files encoder.xxx
  3. =============================================================================
  4.  
  5.  
  6. Description:    This network learns to code 8 units to 3 units and encode 
  7. ============    3 units to 8 units.
  8.  
  9. The task of an n-m-n-encoder network is to code a 1-of-n coding of n
  10. input units to m = log(n) hidden units and to encode the outputs of
  11. these m units again to a 1-of-n representation of n units.
  12.  
  13. What makes the problem interesting is that the network is
  14. required to have a small number of hidden units.
  15. Note that these input and output values are internally treated as real
  16. values by the network, although the problem is a binary problem.
  17.  
  18. Encoders with m = log(n) are called 'tight' encoders, 
  19.      with m < log(n) are called 'supertight' encoders, 
  20.      with m > log(n) are called 'loose' encoders.
  21.  
  22. Note that obviously for this problem no shortcut connections from
  23. input to output are allowed.
  24.  
  25.  
  26. Pattern-Files:    encoder.pat
  27. ==============
  28.  
  29. Each of the eight input patterns consists of one '1' at Position i and
  30. '0' at the remaining positions. The output consists of the identical
  31. pattern, therefore the mapping to be learned is the identity
  32. mapping. 
  33.  
  34.  
  35. Network-Files:    encoder.net
  36. ==============
  37.  
  38.  
  39. Config-Files:    encoder.cfg
  40. =============
  41.  
  42.  
  43. Hints:
  44. ======
  45.  
  46. The following table shows some learning functions one may use to train
  47. the network. In addition, it shows the learning-parameters and the
  48. number of cycles we needed to train the network successfully. These
  49. parameters have not been obtained with extensive studies of
  50. statistical significance. They are given as hints to start your own
  51. training sessions, but should not be cited as optimal or used in
  52. comparisons of learning procedures or network simulators. Surely you
  53. can do better...
  54.  
  55. Learning-Function               Learning-Parameters       Cycles
  56.  
  57. Std.-Backpropagation            2.0                         750
  58. Backpropagation with Momentum   0.8  0.6   0.1              300
  59. Quickprop                       0.2  1.75  0.0001            75  
  60. Rprop                           0.2                          75
  61.  
  62. You may easily build your own n-m-n encoder networks either by adding
  63. or deleting hidden units or by using the BIGNET tool from the info
  64. panel.
  65.  
  66. To create the 8-4-8 encoder by adding a hidden unit select one hidden
  67. unit with left mouse button (it turns yellow), make it the curent
  68. target unit by pressing the middle mouse button and enter 'u c a'
  69. (units copy all) on the keyboard while the mouse pointer is inside the
  70. 2D display window. This creates a duplicate of the selected hidden
  71. unit with all input and output connections copied from the
  72. original. Now initialize the network and train the enlarged 8-4-8
  73. network. Try also the 8-2-8 encoder!
  74.  
  75. Note that the time to train an n-(log n)-n encoder grows exponentially
  76. with n. A 128-7-128 encoder can still be trained with SNNS, larger
  77. values give problems.
  78.  
  79.  
  80. =============================================================================
  81.     End of README file
  82. =============================================================================
  83.